아파치 아브로

3. 스키마 정의

아브로 스키마는 JSON 형식으로 정의된다.^[32] 스키마는 데이터의 구조와 타입을 정의하여 데이터 직렬화 및 역직렬화 과정에서 데이터의 일관성을 보장한다. 스키마는 원시 자료형(null, boolean, int, long, float, double, bytes, string)과 복소수 자료형(record, enum, array, map, union, and fixed)으로 구성된다.^[32][7]

간단한 스키마 예시는 다음과 같다.

```json

{

"namespace": "example.avro",

"type": "record",

"name": "User",

"fields": [

{"name": "name", "type": "string"},

{"name": "favorite_number", "type": ["null", "int"]},

{"name": "favorite_color", "type": ["null", "string"]}

]

}

3. 1. 자료형

3. 2. 스키마 예제

4. 직렬화와 역직렬화

아브로의 데이터는 상응하는 스키마와 함께 저장할 수 있으며, 즉 미리 스키마를 알지 않고도 직렬화된 항목을 읽을 수 있다.<sup>[8]</sup> 아브로의 데이터는 해당 스키마와 함께 저장될 수 있으며, 이는 직렬화된 항목을 사전에 스키마를 알지 못한 상태에서도 읽을 수 있음을 의미한다.

'''파이썬 코드 예제'''

```python

import avro.schema

from avro.datafile import DataFileReader, DataFileWriter

from avro.io import DatumReader, DatumWriter

# 직렬화 예제

schema = avro.schema.parse(open("user.avsc", "rb").read()) # 쓰기 위한 스키마를 알아야 한다.<sup>[8]</sup>

writer = DataFileWriter(open("users.avro", "wb"), DatumWriter(), schema)

writer.append({"name": "Alyssa", "favorite_number": 256})

writer.append({"name": "Ben", "favorite_number": 8, "favorite_color": "red"})

writer.close()

# "users.avro" 파일은 JSON 형식의 스키마와 데이터의 간결한 바이너리 표현을 포함한다.<sup>[9]</sup>

# 역직렬화 예제

# 스키마는 데이터 파일에 포함되어 있다.

reader = DataFileReader(open("users.avro", "rb"), DatumReader())

for user in reader:

print(user)

reader.close()

```

출력 결과:

```text

{u'favorite_color': None, u'favorite_number': 256, u'name': u'Alyssa'}

{u'favorite_color': u'red', u'favorite_number': 8, u'name': u'Ben'}

4. 1. 파이썬 코드 예제

5. API 지원 언어

이론적으로 모든 언어가 아파치 아브로를 사용할 수 있으나 다음의 언어가 API를 갖추고 있다:<sup>[35][36]</sup>

• C
• C++
• C#<sup>[37][38][39]</sup>
• Elixir<sup>[15][16]</sup>
• Go<sup>[17][18]</sup>
• Haskell<sup>[19]</sup>
• Java
• Javascript<sup>[20]</sup>
• Perl
• PHP
• Python<sup>[21][22]</sup>
• Ruby
• Rust<sup>[23]</sup>
• Scala

6. 아브로 IDL

아브로는 자료형 및 프로토콜 정의를 위해 JSON을 지원하는 것 외에도 아브로 IDL(Avro IDL)이라는 이름의 인터페이스 정의 언어(IDL) 문법을 실험적으로 지원한다.<sup>[41]</sup> 과거에는 GenAvro라는 이름이었던 이 포맷은 C/C++, 프로토콜 버퍼 등과 비슷한 문법을 갖춘 더 전통적인 IDL, 프로그래밍 언어에 친숙한 사용자들에 의해 쉽게 채용되도록 설계되어 있다.<sup>[24]</sup>

7. 로고

초기 아파치 아브로 로고는 영국의 항공기 제조업체 아브로(A.V. Roe and Company)의 로고를 사용했었다.<sup>[25]</sup> 2023년 말, 아브로 로고는 새로운 디자인으로 업데이트되었다.<sup>[26]</sup>

참조

<sub>[1]</sub> 웹사이트 Apache Avro: a New Format for Data Interchange https://blog.clouder[...] 2019-03-10
<sub>[2]</sub> 웹사이트 Apache Avro Releases https://avro.apache.[...] 2023-09-23
<sub>[3]</sub> 서적 Designing Data-Intensive Applications O'Reilly 2017
<sub>[4]</sub> 웹사이트 3 Reasons Why In-Hadoop Analytics are a Big Deal - Dataconomy http://dataconomy.co[...] 2016-04-21
<sub>[5]</sub> 웹사이트 Apache Avro Specification: Object Container Files https://avro.apache.[...] 2024-09-08
<sub>[6]</sub> 웹사이트 Apache Avro Specification: Encodings https://avro.apache.[...] 2024-09-08
<sub>[7]</sub> 웹사이트 Apache Avro Getting Started (Python) https://avro.apache.[...] 2019-03-11
<sub>[8]</sub> 웹사이트 Apache Avro Getting Started (Python) https://avro.apache.[...] 2019-03-11
<sub>[9]</sub> 웹사이트 Apache Avro Specification: Data Serialization https://avro.apache.[...] 2024-09-08
<sub>[10]</sub> 웹사이트 GitHub - phunt/avro-rpc-quickstart: Apache Avro RPC Quick Start. Avro is a subproject of Apache Hadoop. https://github.com/p[...] 2016-04-13
<sub>[11]</sub> 웹사이트 Supported Languages - Apache Avro - Apache Software Foundation https://cwiki.apache[...] 2016-04-21
<sub>[12]</sub> 웹사이트 Avro: 1.5.1 - ASF JIRA https://issues.apach[...] 2016-04-13
<sub>[13]</sub> 웹사이트 "[AVRO-533] .NET implementation of Avro - ASF JIRA" https://issues.apach[...] 2016-04-13
<sub>[14]</sub> 웹사이트 Supported Languages https://cwiki.apache[...] 2016-04-13
<sub>[15]</sub> 웹사이트 AvroEx https://hexdocs.pm/a[...] 2017-10-18
<sub>[16]</sub> 웹사이트 Avrora — avrora v0.21.1 https://hexdocs.pm/a[...] 2021-06-11
<sub>[17]</sub> 웹사이트 avro package - github.com/hamba/avro - Go Packages https://pkg.go.dev/g[...] 2023-07-04
<sub>[18]</sub> 간행물 goavro https://github.com/l[...] LinkedIn 2023-06-30
<sub>[19]</sub> 웹사이트 Native Haskell implementation of Avro https://github.com/G[...] Thomas M. DuBuisson, Galois, Inc. 2016-08-08
<sub>[20]</sub> 웹사이트 Pure JavaScript implementation of the Avro specification. https://github.com/m[...] 2020-05-04
<sub>[21]</sub> 웹사이트 Getting Started (Python) https://avro.apache.[...] 2023-07-04
<sub>[22]</sub> 간행물 avro: Avro is a serialization and RPC framework. https://avro.apache.[...]
<sub>[23]</sub> 웹사이트 Apache Avro client library implementation in Rust https://crates.io/cr[...] 2018-12-17
<sub>[24]</sub> 웹사이트 Apache Avro 1.8.2 IDL http://avro.apache.o[...] 2019-03-11
<sub>[25]</sub> 웹사이트 The Avro Logo http://avroheritagem[...] 2018-12-31
<sub>[26]</sub> 웹사이트 "[AVRO-3908] Update project logo everywhere - ASF JIRA" https://issues.apach[...] 2024-02-06
<sub>[27]</sub> 웹인용 Apache Avro: a New Format for Data Interchange https://blog.clouder[...] 2019-03-10
<sub>[28]</sub> 웹인용 Apache Avro Releases https://avro.apache.[...] 2023-09-23
<sub>[29]</sub> 웹인용 3 Reasons Why In-Hadoop Analytics are a Big Deal - Dataconomy http://dataconomy.co[...] 2016-04-21
<sub>[30]</sub> 웹인용 Apache Avro™ Specification: Object Container Files https://avro.apache.[...] 2016-09-27
<sub>[31]</sub> 웹인용 Apache Avro™ Specification: Encodings https://avro.apache.[...] 2016-09-27
<sub>[32]</sub> 웹인용 Apache Avro™ Getting Started (Python) https://avro.apache.[...] 2016-06-16
<sub>[33]</sub> 웹인용 Apache Avro™ Getting Started (Python) https://avro.apache.[...] 2016-06-16
<sub>[34]</sub> 웹인용 Apache Avro™ Specification: Data Serialization https://avro.apache.[...] 2016-06-16
<sub>[35]</sub> 웹인용 GitHub - phunt/avro-rpc-quickstart: Apache Avro RPC Quick Start. Avro is a subproject of Apache Hadoop. https://github.com/p[...] 2016-04-13
<sub>[36]</sub> 웹인용 Supported Languages - Apache Avro - Apache Software Foundation https://cwiki.apache[...] 2016-04-21
<sub>[37]</sub> 웹인용 Avro: 1.5.1 - ASF JIRA https://issues.apach[...] 2016-04-13
<sub>[38]</sub> 웹인용 "[AVRO-533] .NET implementation of Avro - ASF JIRA" https://issues.apach[...] 2016-04-13
<sub>[39]</sub> 웹인용 Supported Languages https://cwiki.apache[...] 2016-04-13
<sub>[40]</sub> 웹인용 Native Haskell implementation of Avro https://github.com/G[...] Thomas M. DuBuisson, Galois, Inc. 2016-08-08
<sub>[41]</sub> 웹인용 Apache Avro 1.8.0 IDL http://avro.apache.o[...] 2016-04-13